مطلوبیت دسته

مطلوبیت دسته معیاری از "خوبی دسته" است که در (Gluck و Corter 1985) و (Corter و Gluck 1992) تعریف شده است. مطلوبیت دسته سعی می‌کند احتمال اینکه دو شی در یک دسته دارای مقادیر مشخصه مشترک هستند و همینطور احتمال اینکه اشیاء از دسته‌های مختلف دارای مقادیر مشخصه متفاوت هستند را به حداکثر برساند. این در نظر گرفته شده بود تا معیارهای محدودتری از خوبی دسته را جایگزین کند، مانند "اعتبار علامت " ( (Reed 1972) ; (Rosch و Mervis 1975) ) و "شاخص تطبیق" (Jones 1983) . این یک معیار اصولی نظریه اطلاعات از مزیت پیشگویانه به‌دست‌آمده توسط ناظری که از ساختار طبقه‌بندی داده شده (یعنی برچسب‌های کلاس از نمونه‌ها) نسبت به ناظری که دانشی از ساختار طبقه‌بندی ندارد به دست می‌آورد. از این نظر، انگیزه برای معیار مطلوبیت دسته مشابه معیار به دست آوردن اطلاعات مورد استفاده در یادگیری درخت تصمیم گیری است . در برخی ارائه ها، رسما معادل اطلاعات متقابل است، همانطور که در زیر مورد بحث قرار می گیرد. مروری بر مطلوبیت دسته در تجسم احتمالی آن، با کاربردهایی در یادگیری ماشین ، در (Witten و Frank 2005) .

تعریف نظری-احتمال مطلوبیت دسته

تعریف نظری-احتمال مطلوبیت دسته در (Fisher 1987) و (Witten و Frank 2005) به شرح زیر است:

$CU(C,F)={\tfrac {1}{p}}\sum _{c_{j}\in C}p(c_{j})\left[\sum _{f_{i}\in F}\sum _{k=1}^{m}p(f_{ik}|c_{j})^{2}-\sum _{f_{i}\in F}\sum _{k=1}^{m}p(f_{ik})^{2}\right]$

جایی که $F=\{f_{i}\},\ i=1\ldots n$ یک اندازه است -$n\$ مجموعه از $m\$ ویژگی های آری و $C=\{c_{j}\}\ j=1\ldots p$ مجموعه از $p\$ دسته بندی. عبارت $p(f_{ik})\$ احتمال حاشیه‌ای را مشخص می کند که ویژگی $f_{i}\$ مقدار $k\$ را می گیرد، و عبارت$p(f_{ik}|c_{j})\$ دسته احتمال مشروطرا مشخص می کند که ویژگی $f_{i}\$ مقدار$k\$ را می گیرد با توجه به اینکه شی مورد نظر به دسته$c_{j}\$ تعلق دارد.

انگیزه و توسعه این عبارت برای مطلوبیت دسته و نقش چندگانه $\textstyle {\tfrac {1}{p}}$ به عنوان یک کنترل بیش از حد خام، در منابع بالا آورده شده است. بی قید و شرط (Fisher 1987) ، عبارت $\textstyle p(c_{j})\sum _{f_{i}\in F}\sum _{k=1}^{m}p(f_{ik}|c_{j})^{2}$ تعداد مورد انتظار از مقادیر مشخصه است که می تواند توسط ناظر با استفاده از استراتژی تطبیق احتمال به همراه دانش برچسب های دسته به درستی حدس بزند، در حالی که $\textstyle p(c_{j})\sum _{f_{i}\in F}\sum _{k=1}^{m}p(f_{ik})^{2}$ تعداد مورد انتظار مقادیر مشخصه است که می تواند توسط ناظر همان استراتژی را به درستی حدس بزند، اما بدون آگاهی از برچسب های دسته. بنابراین تفاوت آنها نشان دهنده مزیت نسبی است که ناظر با داشتن دانش از ساختار دسته بندی به دست می آورد.

تعریف نظری اطلاعات از مطلوبیت دسته

تعریف نظری اطلاعات از مطلوبیت دسته برای مجموعه ای از موجودیت ها با اندازه-$n\$ مجموعه ویژگی های دودویی $F=\{f_{i}\},\ i=1\ldots n$ و یک دسته دودویی $C=\{c,{\bar {c}}\}$ در (Gluck و Corter 1985) به شرح زیر آمده است:

$CU(C,F)=\left[p(c)\sum _{i=1}^{n}p(f_{i}|c)\log p(f_{i}|c)+p({\bar {c}})\sum _{i=1}^{n}p(f_{i}|{\bar {c}})\log p(f_{i}|{\bar {c}})\right]-\sum _{i=1}^{n}p(f_{i})\log p(f_{i})$

جایی که $p(c)\$ احتمال پیشین یک موجودیت متعلق به دسته مثبت$c\$ است (در صورت عدم وجود هرگونه اطلاعات از ویژگی)،$p(f_{i}|c)\$ احتمال مشروط یک موجودیت دارای ویژگی$f_{i}\$ است با توجه به اینکه این موجودیت به دسته$c\$ تعلق دارد ، به همین ترتیب $p(f_{i}|{\bar {c}})$ احتمال مشروط یک موجودیت دارای ویژگی$f_{i}\$ است با توجه به اینکه این موجودیت به دسته ${\bar {c}}$ تعلق دارد ، و $p(f_{i})\$ احتمال پیشین یک موجودیت دارای ویژگی$f_{i}\$ است (در صورت عدم وجود هرگونه اطلاعات از دسته بندی).

بینش پشت عبارت فوق به شرح زیر است: عبارت $p(c)\textstyle \sum _{i=1}^{n}p(f_{i}|c)\log p(f_{i}|c)$ هزینه (بر حسب بیت) رمزگذاری (یا انتقال) بهینه ویژگی اطلاعات را هنگامی نشان می دهد که مشخص شود اشیایی که باید توصیف شوند به دسته$c\$ تعلق دارند.به طور مشابه، عبارت $p({\bar {c}})\textstyle \sum _{i=1}^{n}p(f_{i}|{\bar {c}})\log p(f_{i}|{\bar {c}})$ هزینه (بر حسب بیت) رمزگذاری (یا انتقال) بهینه ویژگی اطلاعات را هنگامی نشان می دهد که مشخص شود اشیایی که باید توصیف شوند به دسته ${\bar {c}}$ تعلق دارند. بنابراین مجموع این دو عبارت در پرانتز میانگین وزنی این دو هزینه است. عبارت نهایی، $\textstyle \sum _{i=1}^{n}p(f_{i})\log p(f_{i})$ ، هزینه (بر حسب بیت) رمزگذاری (یا انتقال) بهینه ویژگی اطلاعات را هنگامی که اطلاعات هیچ دسته ای در دسترس نیست نشان می دهد. مقدار مطلوبیت دسته، در فرمول بالا، منفی خواهد بود (؟؟؟ ).

همچنین ببینید

• انتزاع - مفهوم - برداشت
• یادگیری مفهومی
• یونیورسال ها
• یادگیری بدون نظارت

منابع

 

• Corter, James E.; Gluck, Mark A. (1992), "Explaining basic categories: Feature predictability and information" (PDF), Psychological Bulletin, 111 (2): 291–303, doi:10.1037/0033-2909.111.2.291, archived from the original (PDF) on 2011-08-10
• Edgell, Stephen E. (1993), "Using configural and dimensional information", in N. John Castellan (ed.), Individual and Group Decision Making: Current Issues, Hillsdale, New Jersey: Lawrence Erlbaum, pp. 43–64
• Fisher, Douglas H. (1987), "Knowledge acquisition via incremental conceptual clustering", Machine Learning, 2 (2): 139–172, doi:10.1007/BF00114265
• Gennari, John H. (1989), "Focused concept formation", in Alberto Maria Segre (ed.), Proceedings of the Sixth International Workshop on Machine Learning, Ithaca, NY: Morgan Kaufmann, pp. 379–382
• Gennari, John H.; Langley, Pat; Fisher, Doug (1989), "Models of incremental concept formation", Artificial Intelligence, 40 (1–3): 11–61, doi:10.1016/0004-3702(89)90046-5
• Gluck, Mark A.; Corter, James E. (1985), "Information, uncertainty, and the utility of categories", Program of the Seventh Annual Conference of the Cognitive Science Society, pp. 283–287
• Hanson, Stephen José; Bauer, Malcolm (1989), "Conceptual clustering, categorization, and polymorphy", Machine Learning, 3 (4): 343–372, doi:10.1007/BF00116838
• Harnad, Stevan (2005), "To cognize is to categorize: Cognition is categorization", in Henri Cohen & Claire Lefebvre (ed.), Handbook of Categorization in Cognitive Science, Amsterdam: Elsevier, pp. 19–43, archived from the original on 8 February 2012, retrieved 27 May 2022
• Jones, Gregory V. (1983), "Identifying basic categories", Psychological Bulletin, 94 (3): 423–428, doi:10.1037/0033-2909.94.3.423
• Kruschke, John K.; Johansen, Mark K. (1999), "A model of probabilistic category learning", Journal of Experimental Psychology: Learning, Memory, and Cognition, 25 (5): 1083–1119, doi:10.1037/0278-7393.25.5.1083, PMID 10505339
• Mill, John Stuart (1843), A System of Logic, Ratiocinative and Inductive: Being a Connected View of the Principles of Evidence and the Methods of Scientific Investigation, London: Longmans, Green and Co..
• Murphy, Gregory L. (1982), "Cue validity and levels of categorization", Psychological Bulletin, 91 (1): 174–177, doi:10.1037/0033-2909.91.1.174
• Reed, Stephen K. (1972), "Pattern recognition and categorization", Cognitive Psychology, 3 (3): 382–407, doi:10.1016/0010-0285(72)90014-x
• Rosch, Eleanor (1978), "Principles of categorization", in Eleanor Rosch & Barbara B. Lloyd (ed.), Cognition and Categorization, Hillsdale, New Jersey: Lawrence Erlbaum, pp. 27–48
• Rosch, Eleanor; Mervis, Carolyn B. (1975), "Family Resemblances: Studies in the Internal Structure of Categories", Cognitive Psychology, 7 (4): 573–605, doi:10.1016/0010-0285(75)90024-9, S2CID 17258322
• Smith, Edward E.; Medin, Douglas L. (1981), Categories and Concepts, Cambridge, MA: Harvard University Press
• Witten, Ian H.; Frank, Eibe (2005), Data Mining: Practical Machine Learning Tools and Techniques, Amsterdam: Morgan Kaufmann